“People almost invariably arrive at their beliefs not on the basis of proof but on the basis of what they find attractive.”

Blaise Pascal, L’Art de persuader, 1658

Publication bias, defined as “published research which is systematically unrepresentative of the population of completed studies”,1 and referred to as the “file drawer”2 problem as early as 1979, is certainly not a new issue.3 In practice, publication bias usually refers to selective publication of clinical studies with at least one statistically significant difference in important study outcomes (so-called positive studies) and selective non-publication of studies with no differences between groups (so-called negative studies). Publication bias is not only an academic consideration relevant to researchers but also an important practical problem that directly affects the quality of the care that clinicians deliver to patients every day. Our knowledge about the appropriate medical interventions to apply in particular clinical scenarios stems primarily from published observational studies and randomized clinical trials (RCTs). Consequently, if we have access to only a biased (positive) slice of the total evidence base, we run a serious risk of applying the wrong intervention to the wrong patient at the wrong time—quite possibly harming our patients. Specifically, if negative studies are not published, we can be fooled into thinking that particular interventions are more efficacious or safer than in actuality.4,5

Many examples of publication bias have been identified in the general medical literature. Of 487 research projects approved by a local ethics committee in England from 1984-1987, only 52% had been published three to six years later. Studies finding a statistically significant difference between groups had higher odds of ultimately being published compared with studies finding no difference between groups (odds ratio [OR] 2.3; 95% confidence interval [CI], 1.3 to 4.3).3 In a similar study from France involving 649 research protocols, positive studies were published both more frequently (OR 4.6; 95% CI, 2.2 to 9.5) as well as more rapidly than negative studies.6 Of the 198 clinical trials funded by the U.S. National Institutes of Health in 1979 and completed by 1998, those with statistically significant findings had much higher odds of being published than negative trials (OR 12.3; 95% CI, 2.5 to 60).7 Lastly, a systematic review—which included the preceding two studies—revealed that positive studies were more likely to be published than negative studies (OR 2.8; 95% CI, 2.2 to 3.5),8 with an overall probability of only 7-30% that a study would be published within two years following completion.

Factors driving publication bias are undoubtedly diverse and include many of the following possibilities:

  • Universities exert pressure on researchers to publish “novel” and “interesting” (i.e., positive) findings.

  • Peer reviewers and journal editors favour positive studies.

  • Granting agencies prefer to fund investigators with previously published “impactful” (i.e., positive) results.

  • Researchers presuppose that readers will not be interested in their negative findings and do not have enough time to publish unexciting research.7

  • The lay press focuses on studies that show positive associations, which pressures researchers into obtaining positive findings if they want lay press attention. For example, consider the number of times you have read a newspaper column about foods that are not associated with cancer vs a column about foods that are!

Some people think that publication bias is largely a problem of the past and that innovations such as clinical trial registries (where investigators must commit to certain interventions, outcomes, and analyses) have largely eliminated the problem. There is evidence, however, to suggest that publication bias remains an important problem even in the era of trial registration. Consider a study which found that less than half (46%) of 677 clinical trials registered at clinicaltrials.gov were published two years after completion.9 It is probable that at least some of the clinical trials remained unpublished due to negative results.10

A more subtle type of publication bias is perceived amongst the registered RCTs that actually make it to publication in major general medical journals. About one-third of such RCTs show significant discrepancies between their registered outcomes and their published outcomes.11 As a specialty, anesthesiology is not spared this problem—in 2013, 48% of registered RCTs published in five anesthesiology journals had major discrepancies between the outcomes, sample sizes, or interventions that were registered and those that were actually reported.12 Switching the outcomes registered and those reported can “spin” the research results to favour positive findings4 and may constitute one of the reasons why some observers think that a great deal of published research is suspect.13,14

With this background in mind, we consider a study in this issue of the Journal that further investigates the issue of publication bias in the anesthesiology literature.15 Chong et al. investigated the fate of 5,918 abstracts presented at the American Society of Anesthesiologists (ASA) annual meetings in 2001-2004. They reasonably presumed that, since the ASA meeting is the largest in the field of anesthesiology, abstracts presented there would be reported to a high standard and would be representative of research performed in many countries. Their study design was simple but clever. The authors first determined that 1,052 of these 5,918 abstracts reported the results of RCTs in humans. They then adjudicated whether the results of each RCT were positive or negative. To do this, they defined a positive study as one that showed a statistically significant result favouring the experimental intervention. Next, they determined the quality of the abstract using an adaptation of a previously published scoring system.16 Finally, they investigated whether each of the RCT abstracts presented at the 2001-2004 ASA meetings was ultimately published (within ten years of its initial abstract presentation) and whether the publication status depended on the results obtained (i.e., a positive or negative study). Chong et al. likely captured the full complement of publications emanating from the 2001-2004 abstracts because they extended their follow-up for a minimum of ten years after abstract presentation. Moreover, it is unlikely that many researchers would elect to publish a paper after this time period. Their primary outcome was the relative probability of publishing an abstract with positive results vs negative results.

Their findings are illuminating and, unfortunately, do not reduce the previous concerns about the importance of publication bias in the anesthesiology literature. Of the 1,052 RCTs in humans reported as abstracts at the 2001-2004 ASA annual meetings, only 54% went on to subsequent publication. Consequently, almost half of the studies with human participants were not published within ten years of the initial report. I speculate that they likely will not ever be published. This in itself is a disheartening finding, as many observers consider it an ethical duty to report all research, particularly research conducted using human participants who invariably incur some risk—no matter how small—during the study.17

Chong et al. found evidence of publication bias in the anesthesiology literature. Positive RCTs were 42% more likely to be published than negative RCTs (relative risk 1.42; 95% CI, 1.22 to 1.66). This finding did not change after statistical adjustment for factors that could potentially predict publication success, such as the abstract quality score and sample size. Although the median [interquartile range (IQR)] sample size of abstracts going on to publication was slightly higher than that of unpublished abstracts (50 [30-90] participants vs 40 [26-70] participants, respectively), there was no difference in the median [IQR] sample size between positive and negative RCTs (44 [28-81 participants vs 44 [28-76] participants, respectively). This information confirms that the sample size of anesthesiology studies tends to be small. This is unfortunate since small studies are particularly at risk of generating false inferences.13

In contrast to findings in previous work which showed that positive RCTs were published faster than negative RCTs,6 Chong et al. found that the median [IQR] time to publication did not differ between positive and negative studies (16 [8-31] mth vs 17 [8-35] mth). This is a nugget of good news since it implies that peer reviewers and journal editors are not necessarily the primary barrier to the publication of negative findings.

The research performed by Chong et al. adds to the already existing evidence that the biomedical literature has been systematically distorted due to publication bias. It is impossible to quantitate the effect on patient care because of this publication bias, but it is safe to assume that the inferences gained from a distorted literature base are likely not all valid. This leads us to presume that at least some of the day-to-day medical interventions that we use for our patients may be harmful (or at least not helpful). How then should we tackle this problem?

Below are some suggestions to help reduce the publication bias problem:

  • Research into publication bias must continue. Although we know publication bias is a problem, we are duty-bound to ensure that the scale of the problem becomes less and less important over time. Further research should focus on longitudinal studies showing trends in trial registration and on the more subtle forms of publication bias, such as outcome switching (particularly if the outcome switching is in the direction favouring statistical significance) and outcome omission (registered outcomes that are never reported).

  • University promotion committees and university department chairs should encourage properly trained researchers to conduct properly designed research. They could accomplish this by permitting promotions based on high-quality publications that may be fewer in number rather than focusing on the generation of a large number of publications—i.e., the currency of academic credibility should focus more on quality and less on quantity.

  • Funding bodies should base their grant decisions on the quality of a researcher’s previous work, even if the researcher found negative results.

  • Researchers must trust that all their work is important enough to disseminate and must commit themselves to publish all research.

  • Although it may be costly and time-consuming, research ethics boards (REBs) should dedicate resources to ensure that REB-approved studies are ultimately published. For unpublished studies, REBs should stipulate that investigators must justify the lack of publication.

  • We should support the AllTrials international initiativeFootnote 1 that seeks to ensure that all clinical trials are registered and reported. Furthermore, we should give similar support to the COMPare projectFootnote 2 that monitors the frequency of switched outcomes in clinical trials in the top five general medical journals and writes letters to the editor when it finds discrepancies.

The history of medicine has revealed that there were many interventions that we initially deemed useful based on a single RCT which were subsequently proven to be neutral or even harmful.5 Publication bias may well have been the main reason for the initial positive results—results that physicians seized and incorporated into medical practice. Although this may cause substantial cognitive dissonance within many of us, there are several reasons, including publication bias, for considering that much of the research we currently trust may actually be false.13,14 Sometimes the biggest impact we can have on patient care involves not doing something to a patient. When we learn to appreciate and celebrate negative studies and the lessons they teach us about our clinical care, the current problem of publication bias should naturally become less important, and the focus will shift away from just the “positive” and more towards the “truth”.

« car tout ce qu’il y a d’hommes sont presque toujours emportés à croire non pas par la preuve, mais par l’agrément. »

Blaise Pascal, L’Art de persuader, 1658

Les biais de publication, définis comme étant une « recherche publiée étant systématiquement non représentative de l’ensemble des études terminées »1 et qualifiés dès 1979 de problème du « tiroir à dossiers »2 n’est certainement pas un problème nouveau.3 En pratique, le biais de publication fait habituellement référence à la publication sélective d’études cliniques qui présentent au moins une différence statistiquement significative sur des critères d’évaluation importants de l’étude (les études dites positives) et la non-publication sélective d’études ne montrant pas de différences entre les groupes (les études dites négatives). Le biais de publication n’est pas seulement une affaire universitaire n’ayant d’importance que pour les chercheurs, car il s’agit aussi d’un problème pratique important qui a un impact direct sur la qualité des soins que les cliniciens procurent quotidiennement aux patients. Notre connaissance des interventions médicales adaptées à appliquer en face de scénarios cliniques particuliers provient principalement des études publiées, études observationnelles et essais cliniques randomisés (ECR). Par conséquent, si nous n’avons accès qu’à une part biaisée (positive) de la base complète des données probantes, nous courons le risque grave d’appliquer la mauvaise intervention au mauvais patient au mauvais moment… donc, très possiblement de nuire à nos patients. En fait, si les études négatives ne sont pas publiées, nous pouvons être trompés et amenés à croire que certaines interventions sont plus efficaces ou sécuritaires qu’elles ne le sont véritablement.4,5

De nombreux biais de publication ont été identifiés dans la littérature médicale générale. Sur les 487 projets de recherche approuvés par un comité d’éthique local en Angleterre, de 1984 à 1987, seulement 52 % d’entre eux avaient été publiés trois à six ans plus tard. Les études trouvant une différence statistiquement significative ente les groupes avaient de plus grandes chances d’être publiées que les études ne trouvant pas une telle différence (rapport de cotes [OR] : 2,3; intervalle de confiance [IC] à 95 % : 1,3 à 4,3).3 Dans une étude française similaire impliquant 649 protocoles de recherche, les études positives ont été également publiées à la fois plus souvent (OR : 4,6; IC à 95 % : 2,2 à 9,5) et plus rapidement que les études négatives.6 Sur 198 essais cliniques financés par les U.S. National Institutes of Health en 1979 et terminés en 1998 ou avant, ceux qui montraient des résultats statistiquement significatifs avaient de bien plus grandes chances d’être publiés que les essais négatifs (OR : 12,3; IC à 95 % : 2,5 à 60).7 Enfin, une revue systématique (ayant inclus les deux études précédentes) a révélé que les études positives étaient plus susceptibles d’être publiées que les études négatives (OR : 2,8; IC à 95 % : 2,2 à 3,5)8 et une probabilité globale de seulement 7 % à 30 % de voir ces études publiées dans un délai de deux ans après leur clôture.

Les facteurs entraînant des biais de publication sont certainement multiples et incluent plusieurs possibilités parmi les suivantes :

  • Les universités exercent des pressions sur les chercheurs pour qu’ils publient des découvertes « nouvelles » et « intéressantes » (c’est-à-dire positives).

  • Les pairs des comités de lecture et les rédacteurs de journaux préfèrent les études positives.

  • Les agences attribuant les subventions préfèrent financer des investigateurs ayant publié précédemment des résultats à « fort impact » (c’est-à-dire positifs).

  • Les chercheurs présupposent que les lecteurs ne seront pas intéressés par leurs constatations négatives et n’ont pas suffisamment de temps pour prendre celui de publier une recherche peu motivante.7

  • La presse grand public se focalise sur les études montrant des associations positives, poussant les chercheurs à obtenir des résultats positifs s’ils veulent attirer l’attention de ces médias. Pensez, par exemple, au nombre de fois où vous avez lu dans un journal un article sur des aliments qui ne sont pas associés au cancer contre le nombre d’articles indiquant une association entre aliments et cancer!

Certaines personnes pensent que les biais de publication sont principalement un problème du passé et que les innovations, telles que les registres d’essais cliniques (où les investigateurs doivent s’engager à certaines interventions, critères d’évaluation et analyses), ont largement éliminé le problème. Il est pourtant évident que les biais de publication restent un problème important, même à l’ère de l’enregistrement des essais. En témoigne une étude qui a constaté que moins de la moitié (46 %) des 677 essais cliniques enregistrés sur le site clinicaltrials.gov avaient été publiés deux ans après leur clôture.9 il est probable qu’au moins certains de ces essais cliniques restent non publiés en raison de résultats négatifs.10

Un type plus subtil de biais de publication est perçu parmi les ECR enregistrés qui atteignent le stade de la publication dans les grandes revues médicales générales. Environ un tiers de ces ECR présentent des divergences significatives entre leurs résultats enregistrés et leurs résultats publiés.11 En tant que spécialité, l’anesthésiologie n’est pas épargnée par ce problème : en 2013, 48 % des ECR enregistrés publiés dans cinq journaux d’anesthésiologie présentaient des divergences majeures entre les résultats, les tailles d’échantillons ou les interventions qui avaient été enregistrés et ceux qui avaient été effectivement publiés.12 Le remplacement des résultats enregistrés par les résultats publiés peut « dorer » les résultats de la recherche en faveur de constatations positives4 et pourrait être l’une des raisons pour lesquelles certains observateurs pensent qu’un grand nombre d’études publiées est suspect.13,14

Dans ce contexte, nous examinons une étude dans ce numéro du Journal qui s’intéresse plus particulièrement aux biais de publication en anesthésiologie.15 Chong et coll. ont étudié le sort de 5 918 résumés présentés aux congrès annuels de l’American Society of Anesthesiologists (ASA) de 2001 à 2004. Les auteurs ont raisonnablement supposé que dans la mesure ou le congrès de l’ASA est le plus important dans le domaine de l’anesthésiologie, les résumés qui y étaient présentés seraient de haut niveau et représentatifs de la recherche effectuée dans de nombreux pays. Le plan de leur étude était simple mais brillant. Les auteurs ont tout d’abord établi que 1 052 résumés sur ce total de 5 918 décrivaient des résultats d’ECR menés chez l’homme. Ils ont ensuite déterminé si les résultats de chaque ECR étaient positifs ou négatifs. Pour cela, ils ont défini une étude positive comme étant une étude montrant un résultat statistiquement significatif en faveur de l’intervention expérimentale. Ils ont ensuite établi la qualité de l’abstract en utilisant une adaptation d’un système de cotation publié antérieurement.16 Ils ont enfin cherché à savoir sur les résumés d’ECR présentés aux congrès 2001 à 2004 de l’ASA avaient été finalement publiés (dans les dix ans suivant leur présentation initiale) et si le statut de la publication dépendait des résultats obtenus (c’est-à-dire une étude positive ou négative). Chong et coll. ont complètement couvert les publications émanant des résumés de 2001 à 2004, car ils ont étendu leur suivi sur un minimum de dix ans après la présentation du résumé. Il est en outre peu probable que de nombreux chercheurs choisissent de publier leur article après un tel délai. Leur principal critère d’évaluation était la probabilité relative de publication liée à un résumé aux résultats positifs ou négatifs.

Leurs constatations sont éclairantes et, malheureusement, n’apaisent pas les craintes concernant l’importance du biais de publication dans la littérature anesthésiologique. Sur les 1 052 ECR chez l’homme publiés sous forme d’abstracts aux congrès annuels 2001 à 2004 de l’ASA, seulement 54 % d’entre eux ont atteint le stade de la publication d’un article. Cela signifie que près de la moitié des études ayant impliqué la participation d’hommes et de femmes n’a pas été publiée dans les dix ans suivant le rapport initial. Il me paraît probable qu’ils ne seront jamais publiés. Cela est en soi une constatation décourageante, car de nombreux observateurs considèrent que c’est un devoir éthique de publier toute recherche, notamment la recherche menée avec des participants humains qui implique invariablement un certain risque, peu importe qu’il soit minime, au cours de l’étude.17

Chong et coll. ont démontré l’existence de biais de publication dans la littérature d’anesthésiologie. Les ECR positifs avaient 42 % plus de chances d’être publiés que les ECR négatifs (risque relatif : 1,42; IC à 95 % : 1,22 à 1,66). Cette constatation n’a pas changé après ajustement statistique pour des facteurs qui auraient éventuellement pu prédire la réussite de la publication, tels que le score de qualité de l’abstract et la taille de l’échantillon. Bien que la taille médiane (écart interquartile [IQR]) de l’échantillon des abstracts qui avaient été publiés ait été légèrement supérieure à celle des abstracts non publiés (respectivement, 50 [30-90] participants contre 40 [26-70] participants), il n’y avait pas de différence dans la taille médiane (IQR) de l’échantillon entre les ECR positifs et négatifs (respectivement, 44 [28-81participants contre 44 [28-76] participants). Cette information confirme que les échantillons dans les études d’anesthésiologie tendent à être petits. Cela est malheureux dans la mesure où de petites études exposent particulièrement au risque de création de fausses interférences.13

Contrairement aux constatations d’un travail précédent qui avait montré que les ECR positifs étaient publiés plus rapidement que les ECR négatifs,6 Chong et coll. ont constaté que le délai médian (IQR) de publication n’était pas différent entre études positives et études négatives (respectivement 16 [8 à 31] mois contre 17 [8 à 35] mois). C’est au moins une bonne nouvelle, car cela veut dire que les évaluations par des pairs et les éditeurs de journaux ne sont pas nécessairement le principal obstacle à la publication de résultats négatifs.

La recherche menée par Chong et coll. s’ajoute aux constatations déjà existantes qui montrent que la littérature biomédicale a été systématiquement déformée par un biais de publication. Il est impossible de quantifier l’effet que ce biais a sur les soins aux patients, mais on peut supposer sans trop de risque que les conclusions tirées de cette base de documentation biaisée ne sont probablement pas toutes valides. Cela nous conduit à supposer qu’au moins certaines de nos interventions médicales quotidiennes auprès des patients peuvent être nocives, ou à tout le moins ne les aident pas. Alors, comment pouvons-nous aborder ce problème?

Voici quelques suggestions pour contribuer à réduire le problème du biais de publication :

  • La recherche sur les biais de publication doit se poursuivre. Bien que nous sachions qu’il s’agit d’un problème, nous sommes tenus de nous assurer que son étendue devienne de plus en plus limitée au fil du temps. Les nouvelles recherches doivent se concentrer sur des études longitudinales montrant les tendances dans l’enregistrement des essais et les formes plus subtiles de biais de publication, tel que le remplacement des résultats (tout particulièrement si le remplacement des résultats va dans le sens d’une signification statistique) et l’omission de résultats (des résultats enregistrés qui ne sont jamais publiés).

  • Les comités de promotion des universités et les chaires de départements universitaires doivent encourager des chercheurs correctement formés à mener des études bien conçues. Ils peuvent le faire en permettant des promotions sur la base de publications de haute qualité qui peuvent être moins nombreuses, plutôt qu’en se focalisant sur la création d’un grand nombre de publications—c’est-à-dire que la crédibilité universitaire doit reposer par principe davantage sur la qualité et moins sur la quantité.

  • Les organismes de financement doivent baser leurs décisions de subventionner des chercheurs en fonction de la qualité des travaux antérieurs de ce dernier, même si ce chercheur a trouvé des résultats négatifs.

  • Les chercheurs doivent être convaincus que tous leurs travaux sont assez importants pour être communiqués et doivent s’engager à publier toute recherche.

  • Les comités d’éthique de la recherche (CER) doivent dédier des ressources pour s’assurer que les études approuvées par des CER, ayant nécessité des ressources importantes, sont finalement publiées. Dans le cas d’études non publiées, les CER doivent préciser que les investigateurs sont tenus de justifier l’absence de publication.

  • Nous devons soutenir l’initiative internationale AllTrials international initiative Footnote 3 qui cherche à s’assurer que tous les essais cliniques sont enregistrés et publiés. En outre, nous devons également soutenir le projet similaire COMPare project Footnote 4 qui contrôle la fréquence des résultats remplacés dans les essais cliniques des cinq principales revues médicales généralistes et adresse des courriers aux rédacteurs quand des divergences sont constatées.

L’histoire de la médecine révèle que de nombreuses interventions que nous jugions initialement utiles sur la base d’un seul ECR ont ensuite été déclarées sans intérêt, voire nocives.5 Un biais de publication peut bien avoir été la raison principale des résultats positifs initiaux, des résultats que les médecins ont retenus et inclus dans la pratique médicale. Bien que cela puisse créer une dissonance cognitive chez beaucoup d’entre nous, il y a de nombreuses raisons (dont le biais de publication) pour envisager qu’une grande partie de la recherche à laquelle nous faisons actuellement confiance pourrait être en réalité fausse.13,14 De fait, le plus grand impact que nous pouvons avoir parfois sur les soins aux patients implique de ne pas faire quelque chose au patient. Quand nous apprendrons à apprécier à leur juste valeur les études négatives et les leçons qu’elles nous enseignent sur nos soins cliniques, le problème actuel des biais de publication pourrait alors devenir naturellement moins important, et notre centre d’intérêt pourra alors s’éloigner du simplement « positif » pour se rapprocher du « vrai ».